#include "PageLibPreprocessor.h"
#include "SplitTool.h"

int main()
{
    // //测试网页切割函数
    // SplitTool spl;
    // spl.split_XML("page_src/auto.xml");
    // spl.save_to_JSON("data/newripepage.dat");

    PageLibPreProcessor page_lib_processor;

    page_lib_processor.cutRedudantPage();

    page_lib_processor.bulidInvertIndexMap();
    
    page_lib_processor.storeOnDisk();
}

